AWS Parameters and Secrets Lambda Extensionの実装について色々確認してみた

Goで実装されてるみたいです

#AWS Lambda

#Lambda Extensions

#AWS

岩田智哉

2022.10.23

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

CX事業本部@大阪の岩田です。 AWS Parameters and Secrets Lambda Extensionの実装が気になったので色々試してみました。

レスポンスヘッダー

AWS Parameters and Secrets Lambda ExtensionはLambda実行環境内でHTTPサーバーを起動します。このHTTPサーバーがパラメータやSecretの取得リクエストを処理してくれるわけですが、レスポンスヘッダに何か特徴は無いのでしょうか？試しに以下のコードを実行してレスポンスヘッダを確認してみましょう。

import json
from urllib import request
import os
from pprint import pprint


def lambda_handler(event, context):
    
    headers = {
        'X-Aws-Parameters-Secrets-Token': os.environ['AWS_SESSION_TOKEN']
        
    }
    req = request.Request('http://localhost:2773/secretsmanager/get?secretId=lambda/extension/test', headers=headers)
    
    with request.urlopen(req) as res:
      pprint(res.getheaders())
    
    return {
        'statusCode': 200,
        'body': json.dumps('Hello from Lambda!')
    }

結果は以下のようになりました。

[('Content-Type', 'text/plain'),
('Date', 'Fri, 21 Oct 2022 15:48:11 GMT'),
('Content-Length', '327'),
('Connection', 'close')]

特にこれといった特徴も無い最小限のレスポンスヘッダという感じですね。

ユーザーエージェント

キャッシュミスが発生した場合は、AWS Parameters and Secrets Lambda ExtensionからSecrets ManagerやSSMパラメータストアにアクセスすることになりますが、ユーザーエージェントはどうなっているのでしょうか？先程Invokeした際Cloud Trailに記録されたログを確認してみました。

{
    "eventVersion": "1.08",
    "userIdentity": {
        "type": "AssumedRole",
        ...略
    "userAgent": "aws-sdk-go-v2/1.16.8 os/linux lang/go/1.19.1 md/GOOS/linux md/GOARCH/amd64 api/secretsmanager/1.15.14 secretsmanager.ExtensionUserAgent/SecretsManagerLambdaExtension/1.0.94",
    "requestParameters": {
        "secretId": "lambda/extension/test"
    },
    "responseElements": null,
    "requestID": "fb147514-1ab3-49c2-ad68-3d40af905a88",
    "eventID": "1d575083-44dc-466f-8951-d2e51d6524a9",
    "readOnly": true,
    "eventType": "AwsApiCall",
    "managementEvent": true,
    "recipientAccountId": "AWSアカウントID",
    "eventCategory": "Management",
    "tlsDetails": {
        "tlsVersion": "TLSv1.2",
        "cipherSuite": "ECDHE-RSA-AES128-GCM-SHA256",
        "clientProvidedHostHeader": "secretsmanager.ap-northeast-1.amazonaws.com"
    }
}

ユーザーエージェントは aws-sdk-go-v2/1.16.8 os/linux lang/go/1.19.1 md/GOOS/linux md/GOARCH/amd64 api/secretsmanager/1.15.14 secretsmanager.ExtensionUserAgent/SecretsManagerLambdaExtension/1.0.94だそうです。また、TLS1.2でアクセスしていることや暗号スイートに ECDHE-RSA-AES128-GCM-SHA256を利用していることが分かります。

デバッグログ

環境変数PARAMETERS_SECRETS_EXTENSION_LOG_LEVELを指定するとAWS Parameters and Secrets Lambda Extensionのログレベルが変更できまます。上記環境変数にDEBUGを設定して再度Lambdaを実行してみました。

出力されたログからタイムスタンプ等を削って分かりやすく加工したのが以下のログです。

PARAMETERS_SECRETS_EXTENSION_LOG_LEVEL is DEBUG. Log level set to debug.
DEBUG PARAMETERS_SECRETS_EXTENSION_CACHE_ENABLED is not present. Cache is enabled by default.
DEBUG PARAMETERS_SECRETS_EXTENSION_CACHE_SIZE is not present. Using default cache size: 1000 objects.
DEBUG SECRETS_MANAGER_TTL is not present. Setting default time-to-live: 5m0s.
DEBUG SSM_PARAMETER_STORE_TTL is not present. Setting default time-to-live: 5m0s.
DEBUG SECRETS_MANAGER_TIMEOUT_MILLIS is not present. Setting default timeout: 0s.
DEBUG SSM_PARAMETER_STORE_TIMEOUT_MILLIS is not present. Setting default timeout: 0s.
DEBUG PARAMETERS_SECRETS_EXTENSION_MAX_CONNECTIONS is not present. Setting default value: 3.
DEBUG PARAMETERS_SECRETS_EXTENSION_HTTP_PORT is not present. Setting default port: 2773.
INFO Systems Manager Parameter Store and Secrets Manager Lambda Extension 1.0.94
DEBUG Creating a new cache with size 1000
INFO Serving on port 2773
EXTENSION       Name: AWSParametersAndSecretsLambdaExtension    State: Ready    Events: [INVOKE,SHUTDOWN]
INFO ready to serve traffic
DEBUG Caching secret with key /secretsmanager/get?secretId=lambda/extension/test

設定値に関するログが色々と出力されていますが、あまり内部の挙動が分かるようなログは出力されていなさそうです。

実行ファイルを確認してみる

今度はAWS Parameters and Secrets Lambda Extensionの実行ファイルについて見ていきましょう。以下のコードを実行し、Extensionの本体である実行ファイルを適当なS3バケットにアップロードします。アップロードが完了したローカルにダウンロードして色々確認してみましょう。

import json
import boto3

def lambda_handler(event, context):

    s3 = boto3.resource('s3')
    bucket = s3.Bucket('適当なバケット名')
    bucket.upload_file('/opt/extensions/AWSParametersAndSecretsLambdaExtension', 'AWSParametersAndSecretsLambdaExtension')
      
    return {
        'statusCode': 200,
        'body': json.dumps('Hello from Lambda!')
    }

まずファイルサイズでも確認してみましょう。

$ du -h AWSParametersAndSecretsLambdaExtension
6.8M	AWSParametersAndSecretsLambdaExtension

サイズは6.8Mでした。

続いてfileコマンドを実行してみます。

$ file AWSParametersAndSecretsLambdaExtension
AWSParametersAndSecretsLambdaExtension: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked, interpreter /lib64/ld-linux-x86-64.so.2, Go BuildID=6GMSLUap4TAIQDIwkZFk/Lht7YB4ZxIArtVKhpq6A/LaUOXo0ANxGRFaIsZg6T/bO1xuDx-0bH4VqWlg212, stripped

ユーザーエージェントを確認した段階で分かっていましたが、Goで開発されているようですね。

stringsコマンドの実行結果から色々確認してみましょう

$ strings AWSParametersAndSecretsLambdaExtension | grep ^github.com | cut -d / -f1,2,3 | sort | uniq
github.com/aws/aws-sdk-go-v2
github.com/aws/smithy-go
github.com/aws/smithy-go.(*CanceledError).CanceledError
github.com/aws/smithy-go.(*CanceledError).Error
github.com/aws/smithy-go.(*CanceledError).Unwrap
github.com/aws/smithy-go.(*DeserializationError).Error
github.com/aws/smithy-go.(*DeserializationError).Unwrap
github.com/aws/smithy-go.(*ErrorFault).String
github.com/aws/smithy-go.(*GenericAPIError).Error
github.com/aws/smithy-go.(*GenericAPIError).ErrorCode
github.com/aws/smithy-go.(*InvalidParamsError).Add
github.com/aws/smithy-go.(*InvalidParamsError).AddNested
github.com/aws/smithy-go.(*InvalidParamsError).Error
github.com/aws/smithy-go.(*InvalidParamsError).Len
github.com/aws/smithy-go.(*OperationError).Error
github.com/aws/smithy-go.(*OperationError).Unwrap
github.com/aws/smithy-go.(*ParamRequiredError).AddNestedContext
github.com/aws/smithy-go.(*ParamRequiredError).Error
github.com/aws/smithy-go.(*ParamRequiredError).SetContext
github.com/aws/smithy-go.(*SerializationError).Error
github.com/aws/smithy-go.(*SerializationError).Unwrap
github.com/aws/smithy-go.(*invalidParamError).AddNestedContext
github.com/aws/smithy-go.(*invalidParamError).Error
github.com/aws/smithy-go.(*invalidParamError).SetContext
github.com/aws/smithy-go.ErrorFault.String
github.com/aws/smithy-go.InvalidParamsError.Error
github.com/aws/smithy-go.NewErrParamRequired
github.com/aws/smithy-go.ParamRequiredError.Error
github.com/aws/smithy-go.invalidParamError.Error
github.com/aws/smithy-go.invalidParamError.Field
github.com/jmespath/go-jmespath
github.com/jmespath/go-jmespath.init

どういうライブラリを使っているかなんとなく分かりました。

色々なリクエストを発行してみる

AWS Parameters and Secrets Lambda Extensionが起動するHTTPサーバーは/systemsmanager/parameters/getもしくは/secretsmanager/getというパスに対するGETリクエストを処理します。GET以外のメソッドを利用したり、別のパスにリクエストを発行するとどうなるのでしょうか？

以下のコードを試します。

req = request.Request('http://localhost:2773/secretsmanager/get?secretId=lambda/extension/test', headers=headers, method="POST")
try:
    with request.urlopen(req) as res:
      pprint(res.getheaders())
except urllib.error.HTTPError as ex:
    print(ex.code, ex.reason)

ログには400 Bad Requestが出力されました。

続いて先程のコードのmethod="POST"を他のメソッドにして試していきます。